Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency

分享人：朱颖
研究方向：单目深度估计
论文题目：Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency
论文作者：Seokju Lee, Sunghoon Im, Stephen Lin, In So Kweon
作者单位：韩国科学技术院, 大邱庆北科学技术院, 微软亚洲研究院
论文摘要：我们提出了一个端到端的联合训练框架，该框架明确地对多个动态物体的6维运动、自我运动和单目相机设置中的深度进行建模，而无需监督。我们的技术贡献有三个方面。首先，我们强调了逆向投影和前向投影之间的根本区别，同时对每个刚性物体的单独运动进行建模，并提出了一个使用神经前向投影模块的几何正确的投影方法。其次，我们设计了一个统一的实例感知的光度和几何一致性损失，整体上对每个背景和物体区域施加了自我监督信号。最后，我们引入了一个通用的自动标注方案，使用任何现成的实例分割和光流模型来产生视频实例分割图，这些图将被用来作为我们训练模型的输入。提出的方法在详细的消融实验中得到了验证。通过在KITTI和Cityscapes数据集上进行的广泛实验，我们的框架被证明胜过最先进的深度和运动估计方法。代码可在以下位置获得：（https://github.com/SeokjuLee/Insta-DM）
原文链接：

点击此处